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摘 要 : 智能 交通 系统 (ITS) 的 目标 是 从 根本 上 解决 道路 安全 、 车 辆 拥挤 、 环 境 污 染 等 对 城市 造成 的 影响 ， 交 又 路 口 

是 道路 和 车 辆 的 交汇 处 ， 也 是 交通 拥堵 现象 最 严重 的 地 方 。 针 对 路 口交 通 拥 堵 现 象 ， 结 合 雾 计算 和 强化 学 习 理论 ， 

提出 了 一 种 FRTL(fog reinforcement traffic light) 交 通 灯 控制 模型 ,该 模型 根据 实时 的 交通 流 信息 进行 交通 灯 智 能 协同 

0 雾 节点 将 收集 到 的 实时 交通 流 信 息 上 传 到 雾 服务 器 ， 雾 服务 器 在 雾 平台 实现 信息 共享 ， 雾 平台 结合 处 理 后 的 
享 数据 和 Q 学 习 制 定 交 通 灯 控制 算法 。 算 法 利用 检测 到 的 实时 交通 数据 计算 出 合适 的 交通 灯 配 时 方案 ,最 终 应 用 

es 仿真 结果 表明 ， 了 人 比 ，FRTL 控制 方法 提高 了 路 口 的 

吞吐 量 ， 减 少 了 车 辆 平均 等 待 时 间 ， 达 到 了 合理 调控 红绿灯 时 间 、 缓 解 交 通 拥堵 的 目标 。 
关键 词 : 十 字 路 口 ; 交通 灯 ; 雾 计 算 ; 强化 学 习 ; Q 学 习 
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Abstract: The goal of the Intelligent Transportation System(ITS) is to fundamentally solve the impact of road safety, 


vehicle congestion, and environmental pollution on cities. And the intersection serves as the intersection of urban roads and 
vehicles, of course, has become the most prominent problem of traffic problems and contradictions. For intersection traffic 
ON congestion phenomenon, this paper combines fog computing and reinforcement learning theory, and proposes a FRTL (Fog 
T= Reinforcement Traffic Light) traffic light control model. The model performs intelligent coordinated control of traffic lights 
co based on real-time traffic flow information. The fog node uploads the collected real-time traffic flow information to the fog 


server, and the fog server realizes information sharing on the fog platform, and the fog platform combines the processed 


shared data and Q learning to formulate a traffic light control algorithm. The algorithm uses the detected real-time traffic 
四 可 data to calculate a suitable traffic light timing scheme, which is finally applied to the traffic light. The simulation results 
show that compared with the traditional time-phase control method and the main road control method (ATL) , the FRTL 
control method improves the throughput of intersections, reduces the average waiting time of vehicles, and achieves the goal 
of properly regulating traffic lights and alleviating traffic congestion. 
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设施 或 十 字 路 口交 通 灯 上 ) 可 以 实时 有 效 地 收集 、 存 储 、 处 
理 、 上 传 和 交互 交通 数据 。 把 收集 的 数据 通过 雾 服务 器 分 析 


智能 交通 系统 (intelligent transportation system，ITS ) 目 和 计算 ， 然 后 结合 强化 学 习 B] 中 Q 学 习 叶 制定 的 交通 为 训 
标 是 通过 人 、 车 、 路 的 密切 配合 ， 缓 解 交通 堵塞 、 降 低 交 通 。 算法 ， 得 到 相位 的 绿灯 时 间 ， 达 到 根据 实时 交通 流动 态 调控 
事故 发 生 率 、 减 轻 环境 污染 ， 而 交通 灯 可 以 保证 整个 路 网 车 红绿灯 时 间 的 目的 。 

辆 通行 的 有 序 和 顺畅 。 但 是 ， 由 于 道路 上 的 行驶 车 流量 每 年 1 ”相关 研究 

都 在 大 幅 增 长 ， 传 统 的 交通 灯 控 制 方式 已 不 能 根据 路 口 的 实 

时 车 流量 达到 动态 调整 交通 灯 的 目的 , 导致 路 口 拥堵 。 因此 ， 前 ， 交 通 灯 常用 的 控制 方式 主要 有 定时 控制 申 、 感 应 
构建 自 适应 交通 控制 系统 ， 提 高 十 字 路 口 的 通行 能 力 和 服务 ”控制 四、 自 适应 控制 中 这 三 种 类 型 。 随 着 车 辆 的 增多 ， 传 统 
质量 是 目前 智慧 交通 领域 一 个 重要 的 关键 问题 。 的 交通 和 灯 控 制 方式 〈 定 时 控制 和 感应 控制 ) 不 能 根据 实时 交 

为 了 支持 更 多 车 辆 顺利 行驶 、 实 现 更 好 的 通信 效率 ， 解 。” 通 流 调整 交通 条， 己 经 不 能 满足 当前 的 交通 需求 ， 而 自 适应 
决 传统 车 载 网 络 在 延迟 、 位 置 感知 以 及 实时 响应 方面 的 局 限 “控制 方法 的 灵活 性 、 可 用 性 和 最 优 性 ， 可 以 有 效 地 缓解 交通 


局 

性 ， 本 文 在 集成 筋 计算 由 和 VANETW 的 筋 平台 上 进行 研究 ， 拥堵 ， 所 以 采用 自 适 应 控制 方法 调控 城市 交通 灯 已 成 为 一 种 
认为 车 联网 中 的 车 辆 是 智能 车 辆 ， 有 具备 一 定 的 计算 和 通信 能 ”主流 方案 。 
力 ， 部 署 在 网 络 边缘 的 雾 节点 《比如 可 以 布局 在 已 有 的 路 边 前 ， 国 外 已 经 实施 的 自 适应 控制 交通 系统 主要 有 
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RHODES( 美 国 )、SCOOT( 英 国 )、SCATS( 澳 大 利 亚 ) 等 系统 方 工厂 自动 化 、 生 产 以 及 制造 方面 发 挥 着 非常 重要 的 作用 。 把 
案 。RHODES 系统 在 没有 考虑 其 他 交通 流 造成 的 延误 的 前 提 雾 计 算 应 用 到 IWSN 中 ， 通 过 自 适 应 操作 平台 (adaptive 
下 ， 该 系统 可 以 根据 交通 流 的 随机 变化 特征 通过 预测 模型 提 operations platform, AOP ) 来 提高 故障 模型 的 有 效 性 PC。AOP 
前 获取 交通 流 的 必要 状态 信息 由 。 SCOOT 系统 采用 的 方法 是 是 通过 具有 资源 的 雾 基 础 设施 、 端 到 端 服务 来 提供 资产 管理 、 
小 步 长 渐进 寻 优 ， 根 据 交通 流量 适量 调整 配 时 参数 ， 可 以 在 生产 和 制造 功能 的 。 
短期 内 适应 交通 流量 的 变化 中。 但 是 SCOOT 系统 需要 对 绿 ”2.2 强化 学 习 
信 比 (Split， 交 通 灯 一 个 周期 时 间 内 可 用 于 车 辆 行驶 的 比例 强化 学 习 是 一 种 试 错 性 学 习 ， 与 监督 学 习 不 同 的 是 ， 它 
时 间 ) 进 行 调整 , 不 能 及 时 响应 每 个 周期 的 交通 需求 。 SCATS ”不 会 告诉 agent 如 何 产生 正确 动作 ， 而 是 由 环境 反馈 的 奖励 
系统 采用 分 层 控制 的 方法 ， 主 要 根据 车 辆 饱和 度 与 综合 量 分 信号 来 评价 agent 产生 动作 的 好 坏 20。 图 1 是 强化 学 习 的 框 
别 优 化 信号 周期 、 相 位 差 以 及 绿 信 比 。SCATS 系统 的 不 足 之 架 图 。 
处 是 配 时 方案 有 限 、 人 缺乏 灵活 性 00。 
整个 交通 路 网 是 一 个 大 空间 、 复 杂 的 非 线性 系统 ， 而 强 
化 学 习 在 非 线 性 系统 中 具备 良好 的 学 习性 能 ， 所 以 近年 来 其 
在 交通 灯 控 制 中 得 到 了 一 定 应 用 。 
文献 [11] 介 绍 了 一 种 基于 强化 学 习 的 多 智能 体系 统 的 交 
通信 号 调度 方案 ， 以 5 个 十 字 路 口 为 研究 对 象 ， 研 究 目标 是 
最 小 化 十 字 路 口 的 车 辆 排队 延迟 时 间 。 研 究 结果 表明 ， 结 合 
强化 学 习 的 交通 信号 调度 方案 降低 了 排队 延迟 。 文 献 [12] 把 妈 1 强化 学 习 框架 
交通 自 适 应 控制 看 做 马尔 可 去 游戏 问题 ， 个 路 口 的 交通 信 Fig. 1 Reinforcement learning framework 
号 灯 都 和 相 邻 路 口 的 交通 信号 灯 相 互 协调 ， 可 以 提高 绿灯 时 强化 学 习 的 核心 思想 是 根据 从 环境 中 感知 到 的 不 确定 信 
间 利 用 率 。 但 是 该 方案 不 能 及 时 得 到 交通 流 信息 ， 数 据 传送 息 来 学 习 最 优 策 略 ， 以 后 始终 按照 该 策略 对 某 一 环境 执行 动 
延迟 高 ， 不 能 实时 调控 交通 灯 。 文 献 [13] 针 对 主干 道 提 出 的 作 ， 通 过 改变 环境 的 状态 获取 环境 反馈 的 奖励 信号 ， 然 后 通 
ATL 交通 灯 调 节 方 案 虽 然 能 缓解 主干 道路 的 交通 拥堵 ， 但 是 过 这 个 奖励 信号 来 强化 某 一 环境 状态 下 和 最 佳 动 作 之 间 的 映 
它 弱 化 了 非 主干 道路 交通 流 对 主干 道路 交通 流 的 影响 。 射 关 系 P。 
基于 上 述 分 析 ， 考 虑 到 十 字 路 口 的 车 辆 数目 是 随机 变化 在 Q 学 习 算 法 中 , 把 在 某 个 环境 状态 下 执行 完 某 个 动作 
的 ， 所 以 需要 实时 获取 交通 流 信 息 ， 动 态 调整 交通 信号 灯 。 得 到 的 奖励 用 Q 值 表示 , 把 这 些 Q 值 存放 到 一 个 表格 中 , 称 
雾 计算 具有 低 延 迟 、 实 时 响应 的 优点 ， 可 以 实时 收集 交通 流 之 为 Q 表 ( 表 ID)。 强 化 学 习 系统 通 过 不 断 地 学 习 优化 该 表 ， 
言 息 ; 与 动态 环境 交互 信息 、 有 具备 自主 学 习 能 力 、 自 适应 性 间接 获得 最 优 策 略 。 
强 是 强化 学 习 的 三 大 特点 。 因 此 本 文 针对 多 路 口 提 出 基于 雾 表 1 Q 表 
计算 和 强化 学 习 的 智能 交通 灯 协 癌 控制 究 ， 根 据 实时 交通 Table 1 Q table 
状态 信息 来 调整 交通 信号 灯 ， 达 到 缓解 交通 拥堵 的 目标 。 状态 \ 行 为 al ap 2 an 
、FTTes db 瑟 S1 Qi Qijtl Qijm 
2 相关 技术 研究 局 S2 Qi Qitijtl Qitljmn 
本 研究 中 用 到 了 雾 计算 和 强化 学 习 , 简单 分 析 介 绍 如 下 。 尼 要 网 汪 
2.1 雾 计 算 Si Qirmj Qitmjtl Qirmjmn 
与 云 计算 不 同 的 是 ， 雾 计算 是 一 种 分 布 式 计算 ， 它 把 云 其 中 ，i=12,3,.m; j=1,2,3,..,n 
计算 的 计算 模式 扩展 到 网 络 边 缘 !， 其 特点 如 下 : a) 低 延 强化 学 习 系 统 要 从 探索 环境 的 过 程 中 获取 有 价值 的 经 验 
时 、 位 置 感知 ，b) 地 理 分 布 广泛 、 移 动 性 强 ;c) 包含 大 量 来 更 新 Q 表 ,让 Q 值 朝 着 最 优 的 方向 更 新 更 新 规则 见 式 (1)。 
节点 以 及 传感器 网 络 ; d) 可 以 实时 交互 信息 、 在 线 分 析 并 与 Co)=C(aJ+w[+xmaxosaa)-co) (1) 
云 相互 作用 。 其 中 : s、a、 有 分 别 表 示 在 时 刻 t 下 的 环境 状态 、 行 为 选择 
近 几 年 基于 雾 计 算 的 热点 研究 内 容 主要 有 智慧 城市 、 智 以 及 回报 奖励 。x 是 学 习 速 率 ，xs[01] 。 当 4 等 于 0 时 ， 学 
能 管理 能 源 和 工业 无 线 传感器 网 络 等 。 习 系 统 停止 学 习 ;， 当 “ 接近 1 时 ， 学 习 系 统 学 习 速 度 太 快 ， 
雾 计算 的 这 些 特性 在 智慧 城市 的 一 些 案例 研究 中 得 到 了 容易 造成 不 成 熟 收敛 。7Y 是 折扣 因子 ，ys[0.1] 。7 越 接近 1， 
充分 的 体现 。 例 如 ， 智 能 农业 05 作 为 智慧 城市 的 一 部 分 ， 雾 学 习 系 统 越 注 重 长 期 收益 ， 而 7 越 趋向 于 0， 系统 就 会 越 注 
计算 通过 智能 传感器 节点 监控 植物 生长 和 气候 条 件 ， 在 农 作 重 当前 利益 
物种 植 方面 发 挥 着 重要 作用 。 此 外 ， 水 资源 管理 094、 温 室 气 pn 
体 控制 和 零售 自动 化 是 雾 计算 在 智慧 城市 中 广泛 应 用 的 一 些 3 ”基于 雾 计算 平台 的 交通 灯 管 理 系统 
案例 。 本 研究 中 的 雾 平台 集成 了 雾 计算 和 VANET, 把 雾 计算 模 
平衡 各 个 领域 之 间 的 能 源 消耗 对 是 非常 重要 的 。 人 式 扩展 到 传统 的 车 辆 网 络 中 ， 以 实现 更 好 更 快 的 信息 共享 和 
计算 平台 对 建筑 物 和 各 种 操作 领域 进行 智能 管理 能 源 07， 例 通信 效率 ， 并 在 延迟 、 位 置 感知 以 及 实时 响应 方面 解决 了 传 
如 家 庭 或 微 电 网 。 通 过 监视 和 计 nm 统 车 载 网 络 中 的 局 限 性 。 
能 管理 能 源 , 例如 家 庭 功 耗 ; 通过 有 效 控制 设备 来 管理 能 耗 ， 本 文 将 雾 平台 架构 设计 为 三 部 分 ， 如 图 2 所 示 。 
例如 智能 照明 、 电 动车 充电 器 081。 本 研究 假定 车 联网 中 的 所 有 车 辆 都 是 智 
大 规模 工业 应 用 通常 与 机 器 人 、 固 定 装置 、 机 床 、 工 件 能 设备 并 能 力 收集 有 用 的 交通 信息 ， 所 以 把 车 联网 作为 
和 化 学 反应 等 有 关 ， 即 工业 4.009。 上 有 具有 工业 无 线 传感器 网 由 于 智能 车 辆 具有 实时 的 计算 、 传 递 、 通 信和 
络 (industrial wireless sensor networks, IWSN ) 的 智能 工厂 在 存储 能 力 ， I 中 把 智能 车 辆 作为 关键 的 数据 生成 
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器 。 智 能 车 辆 本 身 在 进行 实时 决策 时 可 以 处 理 一 些 数 据 ， 
其 他 的 数据 将 会 被 共享 
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上 传 到 筋 节 点 ;车辆 检测 器 也 会 提 


检测 的 车 辆 数目 上 传 至 雾 节点 。 

b) 筋 层 。 筋 节点 部 署 在 交叉 路 口 的 交通 信号 灯 劳 边 ， 这 
些 雾 节点 可 以 收集 智能 车 辆 和 车 辆 检测 器 发 送 的 数据 ， 并 把 
这 些 数据 处 理 后 上 传 给 雾 服 务 器 。 雾 节点 作为 筋 服务 器 和 知 
能 车 辆 之 间 的 中 间 设 备 ， 不 仅仅 只 是 中 继 或 者 广播 机 构 ， 它 
们 还 具有 一 定 的 计算 能 力 ， 可 以 通过 处 理 、 存 储 数据 并 在 雾 
层 作 出 决定 ， 从 而 降低 延迟 时 间 。 

c) 云 层 。 由 于 雾 服务 器 的 存储 容量 有 限 ， 那 么 当 雾 层 的 
数据 量 太 多 时 ， 雾 服务 器 就 会 把 之 前 存储 的 数据 上 传 到 云 服 


务 器 。 云 服务 器 会 根据 存储 的 数据 进行 计算 分 析 ， 从 整体 角 


度 作出 最 佳 决策 。 最 典 


交通 基础 设施 ， 


型 的 例子 就 是 监控 、 管 理 、 控 制 道路 
实现 最 佳 的 城市 交通 控制 。 


se 


云层 
( 云 服务 器 ) 


雾 层 
〈 雾 服务 器 ) 


关 据 生 < 
FE 联网 


S33 


图 2 雾 平台 架构 


Fig.2 Architecture of fog platform 


a 在 车 联网 环境 下 ， 雾 平台 收集 、 共 享 信息 的 具体 机 制 大 
会 体 分 为 四 个 步骤; 

S< a 车 辆 和 车 辆 检测 器 会 把 交通 流 信息 发 送 至 雾 节点 。 当 
(5 车 辆 驶 入 雾 节 点 的 通信 范围 内 ， 它 就 可 以 和 雾 节点 每 10 s 进 
人 行 一 次 通信 (因为 频繁 地 通信 存在 通信 风暴 的 危险 ， 并 且 极 
. 己 。 有 可 能 丢失 数据 ， 考 虑 到 行人 通过 十 字 路 口 的 速度 相对 于 车 
() ” 辆 比较 慢 ， 所 以 设置 为 10s 通信 一 次 )。 


b) 筋 节点 之 间 相 互通 信 。 和 
能 车 辆 和 车辆 检测 器 发 送 过 来 的 交通 信息 上 传 至 该 区 域 的 雾 


各 个 路 口 的 雾 节点 不 仅 会 
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< 智能 车辆 ”区 委 服 务 器 。 人 3》 云 服务 器 


3 ”基于 筋 平 台 的 交通 灯 管 理 系统 


Fig.3 Traffic light management System based on fog platform 


4 ”基于 强 


化 学 习 中 Q 学 习 算法 的 交通 灯 控 制 机 制 


本 文采 用 


强化 学 习 中 的 Q 学 习 算法 用 于 交通 灯 控 制 , 并 


制定 了 交通 灯 控 制 算法 , 该 算法 在 FRTL 交通 灯 控 制 模型 (该 


部 分 在 5.1 


节 介 绍 ) 中 的 交通 灯 控 制 模块 中 实现 。 算 法 中 把 
交通 流量 作为 状态 ， 


绿灯 时 间作 为 动作 。 该 算法 大 致 分 为 以 


下 几 个 步骤 ; 
a) 初始 化 Q 表 为 任意 值 ; 
b) 把 检测 到 的 当前 交通 状态 作为 初始 状态 s; 
c) 根据 Q 值 经 验 ， 在 状态 s 下 选择 一 个 绿灯 时 间 ( 动 


作 ) a; 


d) 执行 这 个 动作 ， 更 新 交通 状态 ， 并 观测 奖励 r; 


e) 根据 更 新 规则 更 新 Q 


be 


f) 把 新 的 交通 状态 *, 赋 给 状态 5; 


g) 重复 步骤 c) 至 步 又 了 f)， 


直到 Q 值 收敛 。 


本 文 是 在 只 考虑 直行 
基础 上 进行 研究 的 。 如 图 4 所 示 ， 
都 表示 一 个 Agent， 即 Agent1，Agent2，Agent3，Agent4 。 
路 口 之 间 的 协调 控制 可 以 看 做 是 一 个 马尔 可 夫 决 策 过 程 ， 用 
M=(S,A,R) 表 示 ,S 代表 路 


车 流量 〈 东 西方 向 、 南 北方 向 ) 的 
一 共有 4 个 路 口 ， 每 个 路 


的 交通 状态 ,A 代表 交通 控制 行 


为 (绿灯 时 间 ),R 代表 执行 完 交 通 控制 行为 得 到 的 回报 奖励 。 


| 


A Agent2 

服务 器 ， 还 会 进行 统计 并 分 享 给 相 邻 路 口 的 雾 节 点 ， 通 过 交 = 2 
通 灯 控制 机 制 ( 第 4 部 分 介绍 ) 给 出 各 个 路 口 的 交通 灯 红 绿 
灯 时 间 ， 进 而 协调 本 路 口 与 相 邻 路 口 之 间 的 交通 流 。 

c) 雾 节点 上 传 到 雾 服 务 器 的 交通 信息 就 会 成 为 历史 信 = 
息 ， 雾 服务 器 会 依据 这 些 历史 交通 信息 来 预测 交通 流 ， 以 达 0 er 
到 提高 路 网 畅行 的 目的 。 

d) 因 为 雾 服务 器 的 存储 容量 有 限 ， 所 以 它 会 把 暂时 不 用 
的 数据 上 传 到 云 服 务 器 。 云 服务 器 可 以 根据 雾 服 务 器 上 传 的 
各 个 局 部 路 网 的 交通 信息 进行 全 局 优化 ， 实 现 协调 整个 路 网 图 4 四 路 口交 通 控制 示意 图 
交通 流 的 目的 。 图 3 是 基于 雾 平台 的 交通 灯 管 理 控制 系统 示 Fig.4 Schematic diagram of traffic control at four intersections 
意图 〈 黑 色 箭 头 表 示 车 辆 行驶 方向 ， 闪 电 形 状 的 箭头 表示 云 a) 交通 状态 。 在 路 口 等 待 通行 的 车 辆 数 加 上 新 到 达 的 车 
端 、 车 辆 、 雾 节点 、 雾 服务 器 之 间 的 通信 链 路 )。 辆 数 作为 交通 状态 。 每 个 Agent 都 会 收 到 雾 节 点 传 过 来 的 实 

综 上 所 述 ， 把 雾 计 算 应 用 在 交通 信号 灯 控 制 中 主要 有 三 ”时 交通 信息 ， 发 送 过 来 的 交通 信息 包括 当前 等 候 在 路 口 的 车 
大 好 处 : a) 可 以 降低 车 辆 应 用 与 交通 灯 的 响应 时 间 ; b) 在 ”，” 辆 数量 和 新 到 达 的 车 辆 数量 。 新 到 达 的 车 辆 数目 由 雾 服 务 器 
把 数据 上 传 到 筋 服 务 器 之 前 雾 节 点 可 以 预 处 理 收集 的 数据 ， 给 出 ， 通 过 计算 相 邻 路 口 当前 时 刻 的 前 3 次 车 辆 数目 平均 值 
减少 数据 量 ,， 可 以 加 快 通信 速度 ; c) 部 分 数据 可 以 存放 到 雾 得 到 。 本 文 用 stopVehiclel 、stopVehicle2 、stopVehicle3 、 


服务 器 ， 从 而 减轻 云 服务 器 的 存储 负担 。 


stopVehicle4 分 别 表示 等 候 在 路 口 


1(Agentl)、 路口 2(Agent2)、 
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路 口 3(Agent3) 、 路 口 4(Agent4) 的 车 辆 数目 ， 本 文 用 接收 到 的 交通 信息 进行 汇总 ， 作 为 统计 交通 信息 上 传 给 雾 服 
newVehiclel ，newVehicle2，newVehicle3，newVehicle4 分 别 务 器 。 
表示 路 口 1、 路 口 2、 路 口 3、 路 口 4 新 到 达 的 车 辆 。 交 通 状 c) 雾 服务 器 。 雾 服务 器 通过 分 析 、 计 算 雾 节点 上 传 的 统 
态 用 $5=(stopVehicle,newVehicle) 来 表示 。 比 如 ， 对 于 Agentl 有 计 交 通信 息 来 进行 局 部 交通 控制 。 雾 服务 器 在 进行 局 部 协调 


51=(10,6) ， 表 示 路 口 1 当前 有 10 辆 车 在 等 红绿灯 ， 有 6 辆 ， 交通 流 时 ， 不 仅 考虑 实时 交通 流量 ， 还 会 考虑 历史 交通 信息 
车 是 新 到 达 的 车 辆 。 来 预测 交通 流 。 本 文 第 四 部 分 的 交通 灯 控 制 机 制 中 的 新 到 达 
b) 交通 控制 行为 。 交 通 灯 控制 行为 一 共有 三 种 ， 即 的 车 辆 就 是 雾 服务 器 根据 历史 交通 信息 计算 得 到 的 。 
1 绿灯 时 间 保 持 不 变 d) 云 服务 器 。 云 服务 器 通过 大 数据 分 析 雾 服务 器 上 传 的 
a=12 增加 绿灯 时 间 数据 来 挖掘 交通 信息 ， 进 行 全 局 交通 控制 。 云 服务 器 还 可 以 
3 减少 绿灯 时 间 根据 大 量 的 交通 信息 为 智能 车 辆 提供 其 他 服务 ， 比 如 导航 服 
当 路 口 拥堵 时 ， 并 且 绿 灯 时 间 已 达到 最 大 绿灯 时 间  ” 务 ， 以 帮助 控制 交通 流量 。 
(120s )， 此 时 交通 控制 行为 是 1〈 即 绿灯 时 间 保 持 不 变 ); 
当 绿灯 时 间 不 能 让 等 候 在 路 口 的 全 部 车 辆 通过 ， 并 且 绿灯 时 脖 平 台 
间 没 有 达到 120s， 此 时 就 要 增加 绿灯 时 间 ， 当 等 候 的 全 部 车 交 
辆 都 能 通过 路 口 时 ， 而 且 绿 灯 时 间 还 有 剩余 ， 此 时 就 要 减少 | 
绿灯 时 间 。 那 么 ， 每 个 agent 都 有 三 个 行为 选择 ， 比 如 对 于 息 v 组 加 
agentl 有 A1=(1,2,3)。 数据 处 理 模 亿 |“ | 训 服 | 服 
c) 回报 奖励 。 在 交通 信号 灯 控制 中 ，agent 根据 不 同 的 天 | | Er 葬 罗 网 
交通 状况 做 出 交通 控制 行为 ， 执 行 这 个 行为 并 回报 给 agent 模 E 
一 个 奖励 。 对 于 4gemt (其 中 i=12,3,4 )， 主 要 有 五 种 交通 状 四 
态 : 有 5;= stopVehicle,newVehicle ， el 
(a) (stopVehicle,0) 一 (stopVYehicle -10,0) , 表示 等 候 在 路 口 的 车 
辆 中 有 小 于 等 于 10 辆 车 通过 了 路 口 ， 路 口 没 有 新 到 达 的 车 图 5 FRTL 交通 灯 控 制 模型 
辆 。 Fig.5 FRTL traffic light control model 
(b) (stopVehicle,0) >(stopVehicle-11,0) , 表示 等 候 在 路 口 的 车 。 5.2 交通 流 评估 参数 
辆 中 有 大 于 等 于 11 辆 车 通过 了 路 口 ， 路 口 没有 新 到 达 的 车 交通 灯 在 交通 流 管理 中 起 着 至 关 重 要 的 作用 ， 合 理 分 配 
辆 。 交通 信号 时 间 可 以 保证 车 辆 尽 可 能 快速 地 通过 路 口 ， 减 少 路 
(c) (0,0) 局 (0,newVehicle+5) ， 表 示 路 口 没 有 等 待 通行 的 车 滞留 车 辆 。 本 文 用 到 的 交通 流 评估 参数 有 路 口 车 辆 吞吐 量 、 
辆 ， 但 是 有 小 于 等 于 5 辆 新 到 达 的 车 辆 通过 了 路 口 。 路 口 车 辆 等 候 时 间 、 道 路 饱和 度 。 
(d) (0.0) 一 (Onewyehicle+6) ， 表 示 路 口 没 有 等 候 的 车 辆 ， a) 车 辆 否 吐 量 。 通 过 十 字 路 口 的 车 辆 数 。 这 个 指标 通常 
但 是 有 大 于 等 于 6 辆 新 到 达 的 车 辆 通过 了 路 口 。 用 于 衡量 道路 的 平顺 程度 及 其 交通 流量 。 吞 吐 量 越 大 ， 表 示 
(e) (stopVehicle, newVehicle) > (stopVehicle—11,newVehicle+6) 表 路 口 越 顺畅 。 
示 等 候 在 路 口 的 车 辆 中 有 大 于 等 于 11 辆 车 通过 了 路 口 ,并且 b) 车 辆 等 候 时 间 。 车 辆 在 十 字 路 口 等 待 通行 的 时 间 。 车 
有 大 于 等 于 6 辆 新 到 达 的 车 通过 了 路 口 。 辆 等 候 时 间 越 高 表示 车 辆 通过 路 口 的 速度 越 低 ， 路 口 就 越 拥 
可 报 奖励 取决 于 当前 交通 状态 到 下 一 时 刻 交 通 状 态 的 转 ” ” 墙 31。 


换 ， 这 样 进行 计算 : _ 最 大 交通 量 Nw 
c) 车 辆 饱和 度 。 车 辆 包 和 度 = 天 天 请 往生 ， 它 是 衡量 道 


0 ”其 他 情况 
RJ1 第 一 种 情况 路 服务 水 平 的 一 个 重要 性 能 指标 。 根 据 车 辆 饱和 度 值 把 道路 
2 第 二 、 三 种 情况 服务 水 平分 为 四 个 等 级 。 
3 第 四 、 五 种 情况 (a) 0< 车辆 饱和 度 <0.6 ， 就 表示 道路 通畅 ， 服 务 水 平 好 ; 
(b) 0.6< 车 辆 饱和 度 <0.8 ， 就 表示 道路 稍微 拥堵 ， 服 务 水 平 


5 ”FRITL 交通 灯 控 制 模型 


5.1 模型 设计 (c) 0.8< 车 辆 饱和 度 <1 ， 就 表示 明道 路 拥堵 ， 服 务 水 平 较 
时 延 低 、 有 位 置 感知 能 力 是 筋 计 算 的 优点 ， 与 环境 交互 。 差 ; 

信息 、 自 适应 强 是 强化 学 习 的 优点 。 所 以 ， 本 文 在 雾 计 算 平 
台 上 ， 结 合 强化 学 习 ， 提 出 FRTL 交通 灯 控 制 模型 ， 如 图 5 差 。 
6 


(d) 饱和 度 >1.0 ， 就 表示 道路 出 现 严重 拥堵 ， 服 务 水 平 极 


实验 仿真 


信息 采集 模块 。 该 模块 的 功能 是 收集 交通 流 信息 ， 
主要 来 自 智 能 车 辆 和 车 辆 检测 器 。 采 集 的 交通 信 PTV-VISSIM 是 一 种 微观 的 、 基 于 时 间 间 隔 以 及 驾驶 行 
息 包括 当前 等 候 在 路 口 的 车 辆 数目 、 车 辆 在 筋 节点 范围 内 的 。 为 的 交通 仿真 建 模 工具 ， 它 可 以 分 析 各 种 交通 条 件 下 比如 
当前 交通 灯 的 状态 等 ， 并 且 采 集 模块 把 采集 的 交 ”交通 信和 号、 公交 站 点 等 ) 城市 路 网 交通 的 运行 状况 ， 能 有 效 
通信 息 传送 给 雾 服务 器 模块 。 评价 交通 方案 59。VISSIM 不 仅 可 以 生成 在 线 的 交通 运行 状 


b) 筋 节点 。 处 理 信 息 采 集 模块 传送 过 来 的 交通 信息 是 在 。 况 ， 还 可 以 离线 统计 各 种 数据 ， 比 如 行程 时 间 、 排 队长 度 等 
雾 节 点 中 进行 的 ， 通 过 分 析 和 处 理 收集 的 交通 信息 ， 交 通力 P51。 所 以 ， 本 研究 采用 VISSIM 进行 实验 仿真 。 
控制 模块 把 处 理 后 的 数据 应 用 到 QQ 学 习 制 定 的 交通 灯 控 制 算 本 文 把 VISSIM 离线 输出 的 统计 数据 (例如 车 辆 排队 长 
法 中 ， 计 算得 到 每 个 相位 的 合理 绿灯 时 间 。 而 且 雾 节点 会 把 度 、 十 字 路 口 吞 吐 量 ) 作为 MATLAB 的 输入 ， 进 行 实验 仿 
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真 ,在 VISSIM 中 设 


安 彰 彰 ， 等 : 基于 雾 计算 和 强化 学 习 的 交通 灯 智 能 


交通 规则 为 右 行 交通 仿真 时 间 3600s、 


仿真 精度 是 10 个 时 间 步 长 .每 个 进口 道 的 饱和 车 流量 是 2000 
veh/h、 绿 灯 最 大 时 间 为 90s、 十 字 路 口 之 间 的 距离 是 500 m。 
设置 强化 学 习 系 统 的 学 习 速 率 & 为 0.6、 折 扣 因 子 7 为 0.5。 
为 了 验证 FRTL 交通 灯 控 制 模型 的 有 效 性 ， 本 文 用 交通 灯 分 
时 段 控 制 方式 和 ATL 控制 方式 (3 作对 比 。 

每 隔 5 个 时 间 步 (每 个 时 间 步 长 是 10 s) 对 交通 流量 做 
一 次 计算 ， 运 行 了 360 个 时 间 步 长 (3600 s) 后 ， 得 到 协调 
路 口 的 交通 流 吞 吐 量 (以 路口 1 为 例 )。 从 图 6 可 以 看 到 , 与 
分 时 段 控制 方式 和 ATL 控制 方式 相 比 , 在 FRTL 交通 灯 控 制 
方式 下 每 秒 通 过 十 字 路 口 的 车 辆 数目 多 。 

二 人 二 

车 1.4 上 - | | 

世 1.2|- 中 下 

型 上 

咽 1 上 [> 二 

加 0.8 上 a | f + 

/A 
. | | | | | 志 分 而 段 控制 方式 


时 间 
候 时 
路 口 


路 口 车 辆 数目 


图 6 路 口 吞 吐 量 示意 图 


Fig.6 Schematic diagram of intersection throughput 


每 个 时 间 步 都 会 志 


间 来 计算 每 个 路 


的 车 辆 平均 总 等 


器 时 间 示 意图 。 


交通 
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图 7 车 有 


Fig.7 Schematic diagram of the average 


平均 总 等 候 时 间 示 


= 


意图 


waiting time of vehicles 


式 这 


三 种 控制 方式 下 上 


图 8 是 分 时 段 控制 方式 、ATL 控制 方式 和 FRTL 控制 方 
的 车 辆 饱和 度 示 意图 ， 图 中 的 两 条 黑色 


粗 实 


线 表 示 车 辆 


饱和 度 分 界 值 。 可 以 从 图 中 看 到 ,分 时 段 控 和 


在 路 口 车 辆 
服务 水 平 ; ATL 控 第 


数目 小 于 等 于 800 辆 时 ， 


道路 交通 顺畅 ， 


级 服务 水 


I 


达到 1100 辆 时 还 可 以 


保持 道路 


方式 在 路 口 车 辆 
而 本 文 提出 的 FRTL 控制 方式 在 路 口 
交通 顺畅 .通过 比较 


数 


闵 得 到 ，FRTL 控制 方式 下 的 车 软 


小 时 
时 间 


通 ， 提 供 较 好 的 道路 服务 水 平 。 


得 路 口 的 车 辆 等 候 时 间 ， 运 行 360 个 
步 长 以 后 ， 得 到 各 个 路 口 的 车 辆 总 等 人 
的 车 辆 平均 总 等 候 时 间 。 图 
从 图 中 可 以 得 到 ，FRTL 
灯 控 制 方式 下 的 车 辆 平均 总 等 候 时 间 分 别 比 分 时 段 控 


吴 时 间 ， 根 据 总 等 


7 是 每 个 


吕 


小 于 等 于 1000 


j 饱 和 度 小 ， 能 保持 道路 


本 文 把 采集 的 西安 
的 交通 流 信息 《包括 等 待 红绿灯 


) 分 别 应 用 到 


0 图 9 所 示 。 现 阶段 西安 市 
J 绿灯 时 间 是 45s、73s 往复 循 ] 


FRTL、ATL 交通 ， 


了 咸宁 西 路 与 


庆 路 的 十 字 路 


兴 
的 车 辆 数 
灯 控 制 方式 中 ， 


成 和 


6 路 与 兴 庆 路 十 字 路 口 


环 ， 即 


一 个 
以 及 红绿灯 
仿真 结 
的 


使 路 口 没 有 等 候车 
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辆 ， 也 要 执行 这 么 长 时 间 的 绿灯 时 间 ， 造 成 绿灯 时 间 浪 费 。 
在 不 考虑 车 辆 启动 延迟 的 情况 下 ， 实 际 测 得 一 辆 车 通过 路 口 
的 平均 时 间 是 2 s。 从 图 9 中 可 以 看 到 ， 当 路 口 有 10 辆 等 待 
车 辆 时 ，FRTL 控制 方式 给 出 20s 绿灯 时 间 让 和 车辆 通过 路 口 ; 
ATL 控制 方式 给 出 15s 的 绿灯 时 间 ， 从 而 会 导致 路 口 有 满 
车 辆 ， 这 是 由 于 ATL 控制 方式 的 实时 性 低 导 致 的 。 绿灯 时 间 
最 大 不 能 超过 最 大 绿灯 时 间 (120 s)， 当 路 口 车 辆 等 待 数目 
达到 60 辆 车 时 ,FRTL 控制 方式 下 达到 最 大 路 灯 时 间 ; 而 ATL 
控制 方式 在 车 辆 数目 达到 70 辆 车 时 才 达 到 最 大 绿灯 时 间 。 


0.9 上 - 
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车 辆 饱和 度 


0.6 
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| | | | | 六 一 分 时 段 控制 方式 
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路 口 车 辆 数目 


图 8 车 辆 饱和 度 示意 图 


Fig.8 Schematic diagram of vehicle saturation 


S) 


绿灯 时 间 (单位 : 


| | . | | ATL 
6 20 30 40 50 60 70 80 
路 口 车 辆 数目 
图 9 交通 灯 绿 灯 时 间 示 意图 〈 南 北方 向 ) 


Fig.9 Schematic diagram of traffic light green light time(north-south 
direction) 

把 西安 市 咸宁 西 路 与 兴 庆 路 的 十 字 路 

流 信息 分 别 应 用 到 三 种 交通 灯 控 制 方 式 中 ， 得 到 路 口 


一 个 小 时 的 交通 
的 清 留 


车 辆 数 。 如 图 10 所 示 ， 当 等 待 车 辆 大 于 60 辆 时 ，FRTL 交 
通 灯 控 制 方式 下 才 会 有 滞留 车 辆 ，ATL 交通 灯 控 制 方式 由 于 
实时 性 较 低 ， 每 次 都 会 有 几 辆 滞留 车 辆 ， 由 于 分 时 段 控制 方 
式 下 绿灯 时 间 是 固定 的 ,所 以 当 等 待 车 辆 为 30 辆 时 就 会 有 消 
留 车 辆 。 

25| 一 人 一 分 时 段 控制 方式 

中 | 

万 15|- 

| 

10|- 


前 交 
路 口 车 辆 数目 


图 10 十 字 路 口 滞留 车 辆 数 示 意 医 方向 ) 
Fig. 10 Schematic diagram of the number of vehicles stranded at the 


(东西 


intersection (east-west direction) 


雾 计 算 具 有 低 延 时 、 实 时 交互 信息 的 特点 ， 强 化 学 习 系 


统 通过 自身 学 习 的 经 验 ， 
四 
四 


可 以 根据 雾 平台 收集 的 实时 交通 信 


调控 交通 灯 ， 具 


较 强 的 自 适 应 性 。 所 以 本 文 结合 雾 计算 


在 该 模型 中 ， 雾 节点 


器 ， 


结合 处 理 后 的 
红绿灯 时 间 。 


出 的 FRTL 交通 灯 控 各 


提出 了 FRTL 交通 灯 控 制 模型 ， 以 达到 降低 车 
司 、 避 免 绿 灯 时 间 的 浪费 和 缓解 交通 拥堵 的 目的 。 
巴 收集 的 实时 交通 流 信息 上 传 到 雾 服 务 
多 个 雾 服 务 器 会 把 信息 共享 到 雾 平 台 ， 交 通 灯 控制 模块 
k 享 数据 和 Q 学 习 制定 交通 灯 控 制 算法 计算 出 


—~ 
注 
五 
Es 
可 


与 分 时 段 交 通 灯 控制 方式 和 ATL 控制 方式 不 同 , 本 文 提 
模型 考虑 了 相 邻 路 口 的 情况 ， 车 辆 、 


4 


交通 信 号 类 以 及 道路 基础 设 


施 通 过 雾 平台 共享 实时 交通 信 


事故 发 生 的 前 提 下 进行 的 。 目 前 五 


交通 灯 控 制 模块 的 交通 灯 控 制 机 制 可 以 根据 实时 交通 信 
j 定 相应 的 交通 信号 灯 配 时 方案 。 从 分 析 的 仿真 结果 可 以 
控制 方式 能 够 有 效 缓解 交通 拥堵 、 提 高 道路 服 


和 


本 文 提出 的 交通 灯 控 制 方式 是 在 道路 通行 


顺畅 没有 交通 
究 的 是 在 局 部 路 网 中 且 只 


有 直行 车 辆 ， 但 是 现实 中 存在 


拐 普 车 辆 上 且 存 在 发 生 交 间 


事 
能 性 ， 所 以 在 后 续 的 研究 中 ， 将 会 考虑 拐弯 车 辆 和 处 3 


交通 事故 的 故障 模型 ， 通 过 局 部 路 网 最 优 


做 到 全 局 路 网 交通 


他 


最 优 ， 组 解 整个 路 网 的 交通 拥堵 ， 提 高 道路 利用 率 。 
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